package com.atbeijing.bigdata.spark.core.rdd.instance

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Spark02_Instance_Disk {

    def main(args: Array[String]): Unit = {

        val conf = new SparkConf().setMaster("local").setAppName("Instance")
        val sc = new SparkContext(conf)

        // TODO RDD - 实例化 - 磁盘文件
        // 0 => 1， 无 => 有
        // 读取文件时，以行为单位进行读取
        //val rdd: RDD[String] = sc.textFile("data/word.txt")
        // 文件路径可以是具体的文件路径，也可以是目录的路径,还可以使用通配符
        //val rdd: RDD[String] = sc.textFile("data/word*.txt")

        // 如果想要获取数据所在的文件相关属性，需要使用另外的方法 : wholeTextFiles
        // 方法返回的结果数据为KV键值对
        // key表示文件的路径，value表示文件的内容
        val rdd: RDD[(String, String)] = sc.wholeTextFiles("data/word*.txt")

        rdd.collect().foreach(println)


        sc.stop()
    }
}
